แท็ก

#Local LLM

22 บทความ

Betelgeuse รัน Qwen3.8 Flash Next ขนาด 68GB บน RTX 3060 กับแรม 16GB ส่วน Basalt วัดให้เห็นว่าเอนจินที่เร่งด้วยแฟล็กลัดทำให้โมเดลลืมของ
เครื่องมือนักพัฒนา

Betelgeuse รัน Qwen3.8 Flash Next ขนาด 68GB บน RTX 3060 กับแรม 16GB ส่วน Basalt วัดให้เห็นว่าเอนจินที่เร่งด้วยแฟล็กลัดทำให้โมเดลลืมของ

Betelgeuse ฟอร์ก llama.cpp ที่เปิดเมื่อ 31 ต.ค. ดึง expert จาก NVMe เข้า VRAM ตามต้องการ อ้าง 22 tok/s แบบไม่ทิ้ง expert แต่ README เตือนเองว่ายังทดลองและตัวเลขมาจากคนละรอบ วันเดียวกันผู้พัฒนา Basalt เผยผลวัดว่าแฟล็กเร่งความเร็วทำคุณภาพ Q8 ตกไปใกล้ Q2

· อ่าน 5 นาที
Memdoor ทำซ้ำ GVS5H ได้: ทีม Qwen3.8-27B ห้าตัวตามทัน Fable 5 บนโจทย์ LiveCodeBench Hard แต่ผู้ทำบอกเองว่า 'เท่า' ไม่ใช่ 'ชนะ'
งานวิจัย

Memdoor ทำซ้ำ GVS5H ได้: ทีม Qwen3.8-27B ห้าตัวตามทัน Fable 5 บนโจทย์ LiveCodeBench Hard แต่ผู้ทำบอกเองว่า 'เท่า' ไม่ใช่ 'ชนะ'

Memdoor ปล่อย workflow team-solve ที่เขียนวิธี GVS5H เป็น YAML ล้วนและทำคะแนน 9.8/10 บน LiveCodeBench Hard 10 ข้อ เทียบกับ 8.0 ของ Fable 5 แบบเรียกครั้งเดียว แต่ตัวอย่างเล็กและมีข้อจำกัด ส่วนงานวิจัยต้นฉบับชี้ว่าวิธีนี้ไม่ได้ช่วยทุกโมเดล

· อ่าน 4 นาที
Liquid AI เปิดตัว LFM3 — โมเดล 1.7B สถาปัตยกรรม tri-hybrid ที่ฝึกมาเพื่อ local agent ชนะ Qwen3.5-9B ใน WebArena และ BFCL ใช้ RAM แค่ ~1GB ที่ 4-bit รองรับภาษาไทย แต่ไลเซนส์ LFM Open จำกัดบริษัทรายได้เกิน $10M
โมเดลใหม่

Liquid AI เปิดตัว LFM3 — โมเดล 1.7B สถาปัตยกรรม tri-hybrid ที่ฝึกมาเพื่อ local agent ชนะ Qwen3.5-9B ใน WebArena และ BFCL ใช้ RAM แค่ ~1GB ที่ 4-bit รองรับภาษาไทย แต่ไลเซนส์ LFM Open จำกัดบริษัทรายได้เกิน $10M

Liquid AI เปิดตัวตระกูล LFM3 เมื่อ 27 ต.ค. 2026 ประกอบด้วยรุ่น Base, ข้อความ, ภาพ, เสียง, omni และ decision model ขนาดราว 2B ทั้งหมดเปิดน้ำหนักบน Hugging Face ตัวหลัก LFM3-1.7B มีบริบท 256K ฝึกมาสำหรับ agent harness และในตารางของผู้พัฒนาชนะ Qwen3.5-9B ใน BFCL V4, WebArena-Verified และ AutomationBench แต่แพ้ใน SWE-bench, GPQA และ RULER 128K ไลเซนส์ LFM Open v1.0 ไม่ให้สิทธิ์ใช้เชิงพาณิชย์กับองค์กรที่มีรายได้ตั้งแต่ $10M ต่อปีขึ้นไป

· อ่าน 5 นาที
DeepSeek-V4.1-Flash 763B รันบนการ์ดจอ 12GB ได้แล้ว: IST DASLab ปล่อย GGUF 1.75–2.25 บิต และ Strata ใส่เข้าแอปคลิกเดียว — RTX 3060 ได้ 9–11 tok/s แต่ต้องมี RAM 40GB ขึ้นไป ดิสก์ 239–274GB และคอนเท็กซ์ 8K
เครื่องมือนักพัฒนา

DeepSeek-V4.1-Flash 763B รันบนการ์ดจอ 12GB ได้แล้ว: IST DASLab ปล่อย GGUF 1.75–2.25 บิต และ Strata ใส่เข้าแอปคลิกเดียว — RTX 3060 ได้ 9–11 tok/s แต่ต้องมี RAM 40GB ขึ้นไป ดิสก์ 239–274GB และคอนเท็กซ์ 8K

ห้องแล็บ DASLab ของ IST Austria อัปโหลด DeepSeek-V4.1-Flash-1017 แบบ GGUF ความแม่นยำผสม 1.75, 2.00 และ 2.25 บิตขึ้น Hugging Face เมื่อ 23 ต.ค. การ์ดโมเดลบอกว่ารุ่น 2.00 บิตได้คะแนนเท่าโมเดลต้นฉบับ 100% ใน AIME25, GPQA-Diamond และ LiveCodeBench v6 ส่วน Strata ตัวติดตั้งคลิกเดียวรองรับชุดนี้ตั้งแต่ 24–25 ต.ค. และวัดได้ 4–11 tok/s บนการ์ด 12GB แต่การวัดของ Strata เองพบว่า perplexity ของรุ่น 2.00 บิตเพิ่มขึ้น 15.5% ตอนนี้ llama.cpp ยังรันไฟล์ชุดนี้ไม่ได้ และคอนเท็กซ์ที่ผ่านการทดสอบมีแค่ 8K

· อ่าน 6 นาที
Nanbeige4.3-33B โมเดล dense 33B ใต้ Apache-2.0 เคลมว่าทำงาน agent เก่งที่สุดในรุ่น ~30B — DeepSWE 65.5 ทิ้ง Qwen3.8-27B (42.5) แต่ยังแพ้ใน SWE-Bench Pro และ GDPval, ทุกตัวเลขมาจากผู้พัฒนาเอง และ KV cache กินถึง ~208KB ต่อโทเคน
โมเดลใหม่

Nanbeige4.3-33B โมเดล dense 33B ใต้ Apache-2.0 เคลมว่าทำงาน agent เก่งที่สุดในรุ่น ~30B — DeepSWE 65.5 ทิ้ง Qwen3.8-27B (42.5) แต่ยังแพ้ใน SWE-Bench Pro และ GDPval, ทุกตัวเลขมาจากผู้พัฒนาเอง และ KV cache กินถึง ~208KB ต่อโทเคน

ทีม Nanbeige (ในเครือ Kanzhun เจ้าของ BOSS Zhipin) อัปโหลด Nanbeige4.3-33B และรุ่น Base ขึ้น Hugging Face เมื่อ 24–25 ต.ค. 2026 เป็นโมเดล dense สถาปัตยกรรม Llama มาตรฐาน บริบท 512K ไลเซนส์ Apache-2.0 ตารางของผู้พัฒนาชนะ Qwen3.8-27B ใน 17 จาก 20 benchmark (ห่างมากใน DeepSWE และ Terminal-Bench 4.0) แต่แพ้ Qwen ใน SWE-Bench Pro และ GDPval และแพ้ Gemma4-31B ใน GPQA Diamond ยังไม่มีผลทดสอบอิสระหรือรายงานเทคนิค ไฟล์ GGUF Q4_K_M ขนาด 20.8GB ออกมาภายในวันเดียว

· อ่าน 5 นาที
KRAFTON ปล่อย Raon-1 mini preview โมเดล MoE 28.8B (active 4.3B) เทรนเองตั้งแต่ศูนย์ ใช้ Apache-2.0 มีภาษาไทยในชุดเทรน — KV cache แค่ 7 จาก 25 ชั้น รันบน RTX 5090 ตัวเดียวได้ แต่ vLLM/llama.cpp ยังต้องใช้ fork
โมเดลใหม่

KRAFTON ปล่อย Raon-1 mini preview โมเดล MoE 28.8B (active 4.3B) เทรนเองตั้งแต่ศูนย์ ใช้ Apache-2.0 มีภาษาไทยในชุดเทรน — KV cache แค่ 7 จาก 25 ชั้น รันบน RTX 5090 ตัวเดียวได้ แต่ vLLM/llama.cpp ยังต้องใช้ fork

KRAFTON AI (บริษัทแม่ของ PUBG) อัปโหลด Raon-1 mini preview ขึ้น Hugging Face เมื่อ 21 ต.ค. 2026 เป็น MoE 28.8B/active 4.3B ที่เทรนเองตั้งแต่ศูนย์ ใช้ linear attention แบบใหม่ 18 ชั้น + MLA 7 ชั้น บริบท 262K ภาษาไทยอยู่ในชุดเทรน ไลเซนส์ Apache-2.0 มี NVFP4 (~17.6GB) สำหรับ RTX 5090 ตัวเดียว คะแนนชนะ Qwen3.6-35B-A3B ด้าน instruction following และ SWE-bench Verified แต่แพ้ด้าน knowledge และ Terminal-Bench

· อ่าน 5 นาที
Apple วัดผล MLX บน Mac Studio M5 Ultra: Muse Spark Open 816B รันบนสี่เครื่องผ่าน RDMA over Thunderbolt ได้ 36.7 tok/s — TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า พร้อมคำสั่ง mlx.launch ใช้ต่อกับ OpenCode ได้ทันที
เครื่องมือนักพัฒนา

Apple วัดผล MLX บน Mac Studio M5 Ultra: Muse Spark Open 816B รันบนสี่เครื่องผ่าน RDMA over Thunderbolt ได้ 36.7 tok/s — TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า พร้อมคำสั่ง mlx.launch ใช้ต่อกับ OpenCode ได้ทันที

Apple ML Research เผยผลวัดเมื่อ 15 ต.ค. ว่า MLX รัน Muse Spark Open 816B (NVFP4 ~493GB) บน Mac Studio M5 Ultra สี่เครื่องแบบ tensor parallel ได้ 36.73 tok/s ที่คอนเท็กซ์ 8K ผ่าน RDMA over Thunderbolt 5 และ backend jaccl ส่วนเครื่องเดียว M5 Ultra ให้ TTFT เร็วกว่า M3 Ultra สูงสุด 4.6 เท่า decode เร็วขึ้น 1.6 เท่า กินไฟสูงสุดราว 300W — ตัวเลขทั้งหมดวัดด้วย mlx_lm.benchmark ที่ใครก็รันซ้ำได้

· อ่าน 5 นาที
NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง
โมเดลใหม่

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB: บีบ Super VL 120B ลงเหลือ 74B แล้ว quantize เป็น 2 บิตให้น้ำหนักเหลือ 24GB สำหรับเอเจนต์บนเครื่อง — คะแนนนำ Qwen3.6-35B-A3B แต่ช้ากว่าในการวัดของ NVIDIA เอง

NVIDIA ปล่อย Nemotron 3.5 Bolt 74B-A9B 24GB เมื่อ 15 ต.ค. 2026 เป็นโมเดลภาพ+ข้อความแบบ Mamba-Transformer MoE ที่บีบอัดจาก Nemotron 3.5 Super VL 120B-A12B แล้ว quantize experts เป็น IQ2_XXS (2.06 บิต) จนน้ำหนักเหลือ 24GB บริบท 256K ไลเซนส์ OpenMDW-1.1 คะแนนนำ Qwen3.6-35B-A3B และ Gemma 4 26B-A4B ในงานเอเจนต์หลายรายการ แต่ตาราง NVIDIA เองแสดงว่ายังช้ากว่าทั้งสองตัว และสูตร llama.cpp ที่ให้มาต้องใช้ GPU 32GB ขึ้นไป

· อ่าน 4 นาที
Liquid AI ปล่อย LFM2.5-24B-A2B: โมเดล reasoning 24B ที่ทำงานจริงแค่ 2.45B ต่อโทเคน ชนะ Qwen3.6-35B-A3B ในงาน tool-use หลายรายการ วิ่ง 184 tok/s บน M5 Max — แต่โค้ดและความรู้ยังแพ้ และไลเซนส์จำกัดบริษัทรายได้เกิน $10M
โมเดลใหม่

Liquid AI ปล่อย LFM2.5-24B-A2B: โมเดล reasoning 24B ที่ทำงานจริงแค่ 2.45B ต่อโทเคน ชนะ Qwen3.6-35B-A3B ในงาน tool-use หลายรายการ วิ่ง 184 tok/s บน M5 Max — แต่โค้ดและความรู้ยังแพ้ และไลเซนส์จำกัดบริษัทรายได้เกิน $10M

Liquid AI อัปโหลดน้ำหนัก LFM2.5-24B-A2B ขึ้น Hugging Face เมื่อ 12 ต.ค. และเปิดบล็อก 13 ต.ค. เป็นโมเดล MoE 24B (active 2.45B) แบบคิดก่อนตอบเสมอ บริบท 131K รองรับภาษาไทย ทำคะแนนนำ Qwen3.6-35B-A3B ใน AutomationBench, LiveClaw, ToolSandbox และ IFBench แต่แพ้ชัดใน SWE-bench Verified (51.0 vs 66.2) และ GPQA ไฟล์ GGUF Q4_K_M ขนาด 14.5 GB ใช้ฟรีเชิงพาณิชย์ได้เฉพาะองค์กรรายได้ต่ำกว่า $10M ต่อปี

· อ่าน 4 นาที
Underdog Saluki 27B: บีบ Qwen3.8-27B เหลือไฟล์ GGUF 2-bit ขนาด 7.89 GB รันบน llama.cpp ปกติ ทำ tool calling ได้ 88/120 สูงกว่าโมเดลเต็ม (84) แต่คณิตศาสตร์ตกเหลือราว 82–85%
โมเดลใหม่

Underdog Saluki 27B: บีบ Qwen3.8-27B เหลือไฟล์ GGUF 2-bit ขนาด 7.89 GB รันบน llama.cpp ปกติ ทำ tool calling ได้ 88/120 สูงกว่าโมเดลเต็ม (84) แต่คณิตศาสตร์ตกเหลือราว 82–85%

Underdog ปล่อย Saluki 27B 1.0 (Apache-2.0) เวอร์ชัน 2-bit ของ Qwen3.8-27B ขนาด 7.89 GB จากเดิมราว 54 GB รันบน llama.cpp ตัวมาตรฐานได้เลย ในชุดทดสอบ tool calling 120 ข้อที่บริษัทคัดจาก BFCL v4 ทำได้ 88 ข้อ สูงกว่าโมเดลเต็ม (84) แต่ SWE-bench Verified 50 ข้อแก้ได้ 30 เทียบกับ 33 และคะแนน AIME ลดจากราว 95 เหลือราว 80

· อ่าน 5 นาที
Unsloth เทรน decision model เองได้แล้ว: แปลง Qwen3.5 / Llama 3.2 / Gemma 4 เป็นโมเดลตัดสินใจด้วย LoRA ใช้ VRAM 4 GB ความแม่นยำขึ้นจากระดับเดาสุ่ม (~30%) เป็น 78–81% พร้อม OS sandbox ทั้ง 3 ระบบปฏิบัติการ
เครื่องมือนักพัฒนา

Unsloth เทรน decision model เองได้แล้ว: แปลง Qwen3.5 / Llama 3.2 / Gemma 4 เป็นโมเดลตัดสินใจด้วย LoRA ใช้ VRAM 4 GB ความแม่นยำขึ้นจากระดับเดาสุ่ม (~30%) เป็น 78–81% พร้อม OS sandbox ทั้ง 3 ระบบปฏิบัติการ

Unsloth v0.1.904/905-beta (7–8 ต.ค. 2026) เพิ่ม FastDecisionModel และ DecisionTrainer สำหรับแปลง LLM ทั่วไปเป็น decision model ที่ตอบเป็นความน่าจะเป็นของแต่ละตัวเลือก (ใช้ head แบบเดียวกับ Clef ของ Cloudflare) Qwen3.5-0.8B ใช้ VRAM 4 GB เทรน 42 นาที ได้ holdout 78% พร้อมเปิด OS-level sandbox ให้ tool call บน Linux (bwrap), macOS (Seatbelt) และ Windows (MXC)

· อ่าน 5 นาที
GitHub Copilot CLI ค้นหาโมเดล Ollama บนเครื่องผ่าน /model ได้แล้ว และ local sandboxing ขึ้น GA ใน CLI, Copilot app และ VS Code — แต่เลือกโมเดล local ไม่ได้แปลว่าออฟไลน์
เครื่องมือนักพัฒนา

GitHub Copilot CLI ค้นหาโมเดล Ollama บนเครื่องผ่าน /model ได้แล้ว และ local sandboxing ขึ้น GA ใน CLI, Copilot app และ VS Code — แต่เลือกโมเดล local ไม่ได้แปลว่าออฟไลน์

GitHub ประกาศสองเรื่องในวันที่ 7 ต.ค. 2026: Copilot CLI ตั้งแต่เวอร์ชัน 1.0.94-0 ใช้ /model ค้นหาโมเดลจาก Ollama ที่รันอยู่บนเครื่องได้ (โมเดลต้องรองรับ tool calling และ streaming) และ local sandboxing ที่ขับเคลื่อนด้วย Microsoft eXecution Container (MXC) ขึ้น GA ใน CLI, Copilot app และ VS Code Agent Host โดยไม่มีค่าใช้จ่ายเพิ่ม

· อ่าน 4 นาที
Ollama 0.40 ออกตัวจริงแล้ว: บน Mac ชิป Apple Silicon โมเดลที่รองรับจะรันบน MLX เป็นค่าเริ่มต้น (Qwen3.8, Gemma 4, decision models) พร้อม embedding หลายโหมดตัวแรกอย่าง EmbeddingGemma 2
เครื่องมือนักพัฒนา

Ollama 0.40 ออกตัวจริงแล้ว: บน Mac ชิป Apple Silicon โมเดลที่รองรับจะรันบน MLX เป็นค่าเริ่มต้น (Qwen3.8, Gemma 4, decision models) พร้อม embedding หลายโหมดตัวแรกอย่าง EmbeddingGemma 2

Ollama v0.40.0 ฉบับเสถียร (แท็กชี้ไปที่ commit วันที่ 6 ต.ค. 2026 หลังผ่าน RC มา 4 รอบตั้งแต่ 25 ก.ย.) ทำให้โมเดลที่ MLX runtime รองรับรันบน MLX อัตโนมัติบน Mac ชิป Apple Silicon ได้แก่ Qwen3.8, Gemma 4, Qwen3.6, Qwen3.5 และ decision models อย่าง Clef/Nimble/Tev1 พร้อมเพิ่ม EmbeddingGemma 2 แบบรับภาพและเสียงผ่าน /api/embed แต่บันทึกรีลีสไม่มีตัวเลขความเร็ว

· อ่าน 3 นาที
Strata: ตัวติดตั้งคลิกเดียวที่รัน Qwen3.8-Flash-Next 125B บนการ์ดจอเกมมิ่ง 12 GB — RTX 5070 ได้ 94 tok/s, ขึ้นอันดับ 2 บน HN แต่คนทดสอบเจอคุณภาพตกในงานภาพ
เครื่องมือนักพัฒนา

Strata: ตัวติดตั้งคลิกเดียวที่รัน Qwen3.8-Flash-Next 125B บนการ์ดจอเกมมิ่ง 12 GB — RTX 5070 ได้ 94 tok/s, ขึ้นอันดับ 2 บน HN แต่คนทดสอบเจอคุณภาพตกในงานภาพ

Strata (MIT) คือตัวติดตั้งคลิกเดียวพร้อมเอนจินที่แตกโมเดล MoE Qwen3.8-Flash-Next 125B ไปไว้บน GPU, RAM และ SSD ให้รันได้บนการ์ด 12 GB กับ RAM 32–64 GB โดย README วัดได้ 94 tok/s บน RTX 5070 และเปิด API แบบ OpenAI/Anthropic ให้ Claude Code หรือ Codex ใช้ได้ทันที โพสต์บน Hacker News เมื่อ 4 ต.ค. ได้ 569 คะแนน แต่ความเร็วนี้แลกมากับควอนต์ 2–3 บิต และมีผู้ทดสอบพบว่างานด้านภาพแม่นยำแย่กว่า llama.cpp ราว 3 เท่า

· อ่าน 6 นาที
Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต
เครื่องมือนักพัฒนา

Magnitude — inference engine ในเครื่องที่จูน kernel บนฮาร์ดแวร์ของคุณเอง อ้างถอดรหัสเร็วกว่า llama.cpp 92% บน Mac แต่ตัวเลขมาจากโมเดลเดียว และฝั่งตัวเองบีบ KV cache เหลือ 8/4 บิต ขณะที่ llama.cpp ใช้ 16 บิต

30 ก.ย. 2026 Magnitude (YC S25) เปิดตัวบน Hacker News ในฐานะ inference engine แบบ Apache-2.0 เขียนด้วย Rust ที่จูนพารามิเตอร์ของ kernel บนเครื่องผู้ใช้ราว 1 นาทีต่อโมเดล อ้างว่าถอดรหัสเร็วกว่า llama.cpp 92% บน M4 Pro และ 19% บน DGX Spark แต่ทดสอบกับ Qwen3.6 35B-A3B เพียงตัวเดียว รองรับแค่ 15 โมเดลในแคตตาล็อก และยังไม่รองรับหลาย GPU

· อ่าน 5 นาที
Antigravity SDK รันเอเจนต์บนโมเดลในเครื่องได้แล้ว — Gemma 4 26B ผ่าน LiteRT แบบออฟไลน์ และต่อกับ Ollama, LM Studio หรือ vLLM ได้
เครื่องมือนักพัฒนา

Antigravity SDK รันเอเจนต์บนโมเดลในเครื่องได้แล้ว — Gemma 4 26B ผ่าน LiteRT แบบออฟไลน์ และต่อกับ Ollama, LM Studio หรือ vLLM ได้

Google เพิ่ม LiteRTAgentConfig และ LocalOpenAIAgentConfig ใน Antigravity SDK (Python) ทำให้ harness ตัวเดียวกับ Google Antigravity รันบน Gemma 4 26B A4B ในเครื่องได้โดยไม่ต้องต่อเน็ต หรือต่อกับเซิร์ฟเวอร์ที่ใช้ API แบบ OpenAI เช่น Ollama, LM Studio และ vLLM แนะนำให้มีหน่วยความจำ GPU หรือ unified memory มากกว่า 24GB

· อ่าน 5 นาที
Kev — โมเดลตัดสินใจแบบ Jev ฉบับเปิด Apache-2.0 ขนาด 0.8B/4B/9B บน Qwen3.5 ใช้ API เดียวกับ TypeSafe ได้เลย แต่ Kev-9B ยังตาม Jev อยู่ 3.5 จุด
โมเดลใหม่

Kev — โมเดลตัดสินใจแบบ Jev ฉบับเปิด Apache-2.0 ขนาด 0.8B/4B/9B บน Qwen3.5 ใช้ API เดียวกับ TypeSafe ได้เลย แต่ Kev-9B ยังตาม Jev อยู่ 3.5 จุด

หนึ่งสัปดาห์หลัง TypeSafe เปิด Jev แบบ waitlist Jared Palmer ปล่อย Kev ตระกูลโมเดลตัดสินใจขนาด 0.8B, 4B และ 9B บน Qwen3.5 เป็น Apache-2.0 พร้อมโค้ดเทรนและชุดทดสอบที่ freeze ไว้ ตอบคำถาม yes/no, choice และ score พร้อมความน่าจะเป็นผ่าน endpoint ที่เข้ากับ SDK ของ TypeSafe ได้ทันที ตัวเลขของเขาเองบอกว่า Kev-9B ยังตาม Jev อยู่ 3.5 จุดบนข้อมูลชุดใหม่ และห่างมากในคำถามเชิงความรู้

· อ่าน 6 นาที
halogen 0.12.0: เอนจินที่เขียนเคอร์เนลให้ GPU ตัวเดียวและโมเดลตระกูลเดียว — prefill พรอมต์ 1 ล้านโทเคนบน Strix Halo เหลือ 17.9 นาที จาก 21.2 นาที
เครื่องมือนักพัฒนา

halogen 0.12.0: เอนจินที่เขียนเคอร์เนลให้ GPU ตัวเดียวและโมเดลตระกูลเดียว — prefill พรอมต์ 1 ล้านโทเคนบน Strix Halo เหลือ 17.9 นาที จาก 21.2 นาที

19 ก.ย. 2026 halogen-flash-server ออก 0.12.0 — เอนจิน inference ที่เขียนเคอร์เนลเฉพาะ AMD Strix Halo (gfx1151) กับ Qwen3.8-Flash-Next เท่านั้น รอบนี้รื้อสองเคอร์เนลของ sparse-attention indexer ทำให้พรอมต์ 1,004,581 โทเคน prefill เหลือ 17.9 นาทีและ decode 38 tok/s โดยเอาต์พุตยังเหมือนเดิมบิตต่อบิต — แต่เอนจินเป็นไบนารีปิดใต้ EULA ไม่ใช่โอเพนซอร์ส

· อ่าน 7 นาที
Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool
เครื่องมือนักพัฒนา

Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool

18 ก.ย. 2026 Unsloth ปล่อย v0.1.811-beta ที่ขยายการรองรับ AMD ย้อนไปถึงการ์ด RDNA1 และ RDNA2 พร้อมอิมเมจ Docker unsloth/unsloth-rocm แยกต่างหาก (RDNA2–RDNA4 และ CDNA) เพิ่มบัญชีผู้ใช้หลายคนที่แยกงานกันบนเครื่องติดตั้งเดียว และแซนด์บ็อกซ์ระดับ OS แบบพรีวิวสำหรับ Python/Terminal tool บน Linux กับ macOS

· อ่าน 6 นาที
Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง
โมเดลใหม่

Bonsai 2 27B: อัด Qwen3.8-27B ลงเหลือ 5.9GB ที่ 1.72 บิตต่อน้ำหนัก — เก็บความฉลาดไว้ 98.2% และรันบนแล็ปท็อปได้จริง

PrismML ปล่อย Ternary Bonsai 2 27B เมื่อ 17 ก.ย. 2026 — เอา Qwen3.8-27B มาบีบเป็น ternary ทั้งโมเดลที่ 1.72 บิตต่อน้ำหนัก เหลือไฟล์ 5.95GB (เล็กกว่า FP16 ราว 9 เท่า) แต่ยังทำคะแนนเฉลี่ย 84.78 จาก 14 เบนช์มาร์กโหมดคิด = 98.2% ของ FP16 แจก Apache 2.0 แต่มีเงื่อนไขสำคัญ: ต้องใช้ llama.cpp ฉบับ fork ของ PrismML เท่านั้น

· อ่าน 8 นาที
รัน Kimi K3 ตัวเต็ม 2.8T บน MacBook เครื่องเดียวได้ 1 โทเคน/วินาที — ARGODRIVE Deltafin สตรีมผู้เชี่ยวชาญจาก SSD สี่ลูก
เครื่องมือนักพัฒนา

รัน Kimi K3 ตัวเต็ม 2.8T บน MacBook เครื่องเดียวได้ 1 โทเคน/วินาที — ARGODRIVE Deltafin สตรีมผู้เชี่ยวชาญจาก SSD สี่ลูก

8 ก.ย. Argonaut Labs ปล่อยเบนช์มาร์กของ Deltafin ที่รัน Kimi K3 ตัวเต็ม 2.8 ล้านล้านพารามิเตอร์บน MacBook Pro M5 Max 128 GB โดยสตรีมน้ำหนักผู้เชี่ยวชาญจาก SSD ภายนอกสี่ลูก ได้ 1.00 tok/s — แต่ตัวเลขที่มีค่ากว่าคือบันได scaling ที่ชี้ว่าคอขวดไม่ใช่แบนด์วิดท์รวม และ prompt 512 โทเคนใช้เวลา 6.3 นาทีกว่าจะได้โทเคนแรก

· อ่าน 7 นาที
LM Studio เปิดตัว Bionic — เอเจนต์ AI ที่ทำมาเพื่อโมเดลเปิดโดยเฉพาะ รันในเครื่อง แก้โค้ดได้ พร้อมสัญญา Zero Data Retention
เครื่องมือนักพัฒนา

LM Studio เปิดตัว Bionic — เอเจนต์ AI ที่ทำมาเพื่อโมเดลเปิดโดยเฉพาะ รันในเครื่อง แก้โค้ดได้ พร้อมสัญญา Zero Data Retention

LM Studio ประกาศ Bionic (16 ก.ค. 2026) แอปใหม่ที่แยกออกมาจากตัว LM Studio เดิม ชูตัวเองเป็น 'เอเจนต์ AI ที่ทำมาเพื่อโมเดลเปิด' ทำงานโค้ด (inline diff + agentic code search) งานเอกสาร และงานวิจัยได้ เลือกได้ว่าจะรันโมเดลในเครื่อง ต่อผ่าน LM Link หรือส่งขึ้น LM Studio Secure Cloud พร้อมประกาศ Zero Data Retention และไม่เอาข้อมูลผู้ใช้ไปเทรน

· อ่าน 5 นาที